Terry sinh ra tại Barking, Đông Luân Đôn, bố mẹ của anh là ông Ted và bà Sue.[14] Ngoài ra, anh còn một người anh trai (sinh năm 1979) tên Paul Terry, thi đấu ở vị trí tiền vệ trung tâm cho câu lạc bộ Rushden & Diamonds.[15]

Terry học tại trường Eastbury Comprehensive ở Barking.[16] Về sự nghiệp bóng đá, lúc đầu, anh thi đấu cho câu lạc bộ Senrab, nơi tập hợp nhiều ngôi sao tương lai của bóng đá Anh như Sol Campbell, Jermain Defoe, Bobby Zamora, Ledley King và Jlloyd Samuel.[17] Năm 14 tuổi, Terry gia nhập đội trẻ của Chelsea, lúc đầu ở vị trí tiền vệ. Tuy nhiên, lúc đó vị trí trung vệ còn đang bỏ trống và Terry được xếp vào đá vì thể hình lý tưởng và nó trở thành vị trí thi đấu của anh cho đến ngày anh giải nghệ.[18]